A New Jersey állambeli Neptune-ben jött a világra 1937-ben. Apja korán elhagyta családját, női környezetben nőtt fel, ráadásul abban a hiszemben, hogy a nagyanyja az anyja, az édesanyja pedig a nővére. Az igazságot csak kamaszkorában tudta meg, sokan ezzel magyarázzák a női nem iránti fokozott érdeklődését. A gimnáziumból tizenhét évesen kimaradt, filmes pályafutása az MGM stúdió kifutófiújaként kezdődött. Idővel színpadon, tévében és B kategóriás filmekben is tapasztalatot szerzett, alakításaira már ekkor rányomta a bélyegét egy őrült, ördögi figura, amely azóta is meghatározza a róla kialakított képet.
Karrierje 1969-ben indult, amikor az utolsó pillanatban bekerült az alig félmillió dolláros költségvetésű Szelíd motorosok című filmbe. A lázadó nemzedék életérzését kifejező alkotás azonnal sztárrá tette, s megkapta első Oscar-jelölését. 1972-ben esélyes volt a Keresztapa egyik főszerepére, de Coppola végül Al Pacino mellett döntött. Ezután egymást követték a mára klasszikussá nemesedett filmek, közülük többet is európai rendezővel készített: a Kínai negyed cinikus nyomozójaként Roman Polanski dirigálta, majd Michelangelo Antonioni forgatta vele a Foglalkozása riportert.
Az igazi áttörést a Ken Kesey regényéből készült, Milos Forman rendezte Száll a kakukk fészkére hozta meg számára: a börtön elől az elmegyógyintézetbe menekült örök lázadó, McMurphy szerepéért kapta első Oscar-díját 1976-ban. Legtöbben mégis a Stephen King regényéből készült, Stanley Kubrick rendezte Ragyogás című horrorból emlékeznek rá borzongva, amint őrületbe süllyedt alkalmi hotelgondnokként, arcán sátáni mosollyal veri szét az ajtót egy baltával. Rendezői utasításra olyan hitelesen őrjöngött, hogy sokan attól tartottak, tényleg elvesztette az eszét. (A film a Guinness Rekordok könyvébe is bekerült, mert az aprólékosságáról híres rendező az egyik jelenetet 127 alkalommal vetette föl.)
Emlékezetes alakítást nyújtott Jessica Lange partnereként A postás mindig kétszer csönget című, akkoriban nagy botrányt kavart filmben, szenvedélyes szerelmi kettősük a konyhaasztalon szintén bekerült a filmtörténetbe. Második Oscar-díját 1983-ban vehette át a Becéző szavak volt űrhajósaként. Az Updike regénye nyomán készült Az eastwicki boszorkányok című filmben egyszerre három nő hálójába került bele, 1989-ben jellegzetes vigyorával az év gonosza volt a Batmanben. Eljátszotta az Egy becsületbeli ügy korrupt ezredesét, az amerikai szállítómunkások szakszervezeti vezetőjét (Hoffa), a Farkas című filmben pedig fokozatosan farkasemberré alakult. A harmadik Oscar-díjat a Lesz ez még így se neurotikus, mindenki agyára menő író főszerepéért (1998) kapta, Oscarra (eddig) utoljára a Schmidt történetének címszereplőjeként jelölték 2002-ben. Az új évezredben emlékezetes volt a Minden végzet nehéz idősödő szívtiprójaként, Martin Scorsese Oscar-díjas A tégla című alkotásának maffiavezéreként, A bakancslista rákbetegeként, aki a kórházi ágyán számba veszi megvalósulatlan álmait, s szerepet kapott a Honnan tudod? című romantikus alkotásban is.
Bár hat évtizedes filmes pályafutása alatt leginkább a törvénnyel hadilábon álló szereplőket játszott, több komédiában is remekelt, s ő maga a vígjátékot nevezte a legnehezebb feladatnak egy színész számára. Néhány éve arról szóltak a hírek, hogy memóriájának romlása miatt visszavonul. Ezt cáfolni látszik, hogy azóta több tévéműsorban szerepelt, és nemrégiben megerősítették, hogy hét év után újra kamera elé áll, az Oscar-díjra is jelölt Toni Erdmann című német vígjáték amerikai változatában ő játssza a címszerepet.
Nicholson a három Oscar-díjjal rendelkező három férfi színész egyike, ezeket három egymást követő évtizedben kapta, s az erősebb nem képviselői közül őt jelölték legtöbbször a kitüntetésre. Csillaga díszíti a hollywoodi Hírességek Sétányát, hét Golden Globe díja mellett 2001-ben átvehette a Kennedy Center elismerését, ugyanakkor kétszer is jelölték a legpocsékabb alakítást "elismerő" Arany Málna díjra. 1994-ben az Amerikai Filmintézet életműdíjával tüntették ki, s néhány éve bekerült szülőállama, New Jersey dicsőségcsarnokába. A demokrata érzelmű színész a 2013. évi Oscar-gálán Michelle Obama akkori First Ladyvel együtt jelentette be a legjobb film kategória jelöltjeit.
A szemöldökrángatásáról, "cápamosolyáról" és elmaradhatatlan napszemüvegéről ismert színészlegendának lesújtó a véleménye a mai "filmművészetről". Bár ő maga is próbálkozott rendezéssel, a kamera másik oldalán nem aratott sikert. Démoni tekintete, gyilkos mimikája szexuális vonzerővel párosul, még negatív szerepeiben, zavart és elmebeteg figuraként is sokszor szinte sajnáljuk és elfogadjuk viselkedését. Férfiideálnak a legnagyobb jóakarattal sem lehet nevezni, már első jelentősebb szerepe idején kopaszodott, és hízásra is hajlamos. Vonzerejének mégsem tudnak ellenállni a nők, partnereinek se szeri, se száma. A maró gúnyt és iróniát sugárzó, provokatív kiszólásairól és szókimondásáról híres színész szabad idejében a Los Angeles Lakers kosárcsapat meccseire jár, Bob Dylan és Louis Armstrong zeneéjének rajongója, és olyan művészek alkotásait gyűjti, mint Henri Matisse, Tamara de Lempicka, Andy Warhol és Jack Vettriano.